清华大学钱鹤、吴华强团队研制出人工树突器件，实现新型神经网络

海归学者发起的公益学术平台

分享信息，整合资源

交流学术，偶尔风月

受生物神经网络启发，研制出一种具有丰富动态特性的人工树突器件，构建了包含突触、树突、胞体三种基本计算单元的新型神经网络，树突功能显著提升了网络的准确率，同时大幅降低了系统的功耗，增强了网络处理复杂任务的能力。

包含树突计算的新型人工神经网络示意图

生物神经网络由突触和神经元组成，而神经元又包含树突、胞体等基本结构，其中树突具有非常复杂的拓扑结构和动态过程。许多生物神经系统的研究表明树突具有十分重要的非线性时空信息处理功能，它是大脑能够在处理复杂任务的同时保持低功耗的重要原因之一。当前的人工神经网络大多将神经元用简单的点模型表示，将其计算功能简化成积分-发放（integrate-and-fire），而忽略了树突的信息处理功能。这样的简化使得人工神经网络在功耗、灵活性上与生物神经网络相比仍存在很大的差距。

6月29日，清华大学微电子所、未来芯片技术高精尖创新中心钱鹤、吴华强教授团队，联合清华大学医学院及脑与智能实验室宋森研究员、美国麻省大学杨建华教授、阿里巴巴达摩院谢源教授、加州大学圣芭芭拉分校邓磊博士，在Nature Nanotechnology上发表题为“Power-Efficient Neural Network with Artificial Dendrites”的研究论文，报道了基于动态忆阻器的人工树突器件，成功复现了生物树突对信号的非线性过滤、积分以及对时间信号的处理方式。

为了验证人工树突的计算功能，研究团队将所开发的人工树突器件与导电细丝型突触器件、Mott相变型胞体器件进行系统集成，构建了包含突触、树突、胞体三种基本计算单元的新型神经网络。实验结果显示，由于树突功能的引入，该网络在处理具有复杂背景噪声的街景门牌号（SVHN）数据集时，胞体的动态功耗降低30倍，网络的准确率提高8%以上，系统评估整体功耗比CPU降低3个数量级。来自清华大学微电子所的吴华强教授是该论文的通讯作者，李辛毅博士、唐建石助理教授和张清天博士是共同第一作者。

近年来，钱鹤、吴华强教授团队长期致力于基于忆阻器的存算一体芯片技术研究，从器件性能优化、工艺集成、电路设计及架构与算法等多层次实现创新突破，相关研究成果发表于Nature、Nature electronics、Nature Communications、Advanced Materials等顶级期刊和ISSCC、IEDM、VLSI等领域内顶级国际学术会议上。

受生物启发制备的新原理树突器件，复现了生物树突对信号的非线性过滤、积分等功能

集成了突触、树突、胞体三种计算单元的新型人工神经网络，在SVHN数据集上验证了功耗和准确率上的显著优势

该工作的主要创新之处包括：

1. 开发出了与CMOS工艺兼容的树突器件，其丰富的动态特性复现了生物树突单元的非线性过滤、积分以及对时间信息处理等功能。

2. 将所制备的人工树突器件和基于导电细丝的突触器件、基于Mott相变的胞体器件进行集成，首次在硬件系统上构建了包含突触、树突、胞体三种基本计算单元的新型人工神经网络。

3. 在包含复杂背景噪声的街景门牌号数据集（SVHN dataset）上，对包含树突计算的人工神经网络功能进行了验证。树突功能的引入将胞体的动态功耗降低30倍，同时将网络准确率提高了8%以上，系统评估整体能耗比CPU降低3个数量级。

该研究基于新原理忆阻器的丰富动态过程开发了神经形态树突器件，并进一步验证了新型人工神经网络的功能。未来通过器件、算法、电路、架构的协同创新与优化，有望进一步提高包含树突计算的人工神经网络处理复杂时空任务的能力，构建更加智能化的低功耗神经网络。

该研究工作得到了国家自然科学基金委、国家重点研发计划、北京市科委、北京信息科学与技术国家研究中心等支持。

论文链接：

https://www.nature.com/articles/s41565-020-0722-5

点击下方知社人才广场，查看最新学术招聘

点击“阅读原文”查看论文原文。

扩展阅读

 

本文系网易新闻·网易号“各有态度”特色内容

媒体转载联系授权请看下方